エントロピー (情報)
ほとんど知らないのでこれ以上書けない……takker.icon
エントロピーが高い＝レアい、だと解釈しているsta.icon 意味がわからないよnishio.icon
「何が」レアいの？？
事象？
それだと個別の事象にエントロピーなんてないからおかしい
レアいとは、ある世界におけるある事象の確率が低いこと
この定義なのならおかしい
具体的な事例を考えてみると良い？
布袋の中に白石と黒石があって、それを一つ取り出して観測することを考える
この時「白50黒50」の方が「白99黒1」よりエントロピーが高い
前者のエントロピーが1bitであるのに対して後者のエントロピーは0.08bitしかない
情報理論の定義見てみると、確率の話とか出てきてわけわからん エントロピーが高いほど「不確かさ」が大きいとよく言われますねyosider.icon
n回混乱してますsta.icon
エントロピーが高い＝不確かさが大きい＝レアい、という解釈が微妙なのかもしれない
特に不確かさが大きい＝レアいこの部分
レアいとは、ある世界におけるある事象の確率が低いこと 木を見ている
エントロピーはこれを指す言葉だと思っていたが、たぶん違くてsta.icon
不確かとは、ある世界における事象が不安定であること
森を見ている
こっちを指しているのではないか、と今思ったsta.icon
確率分布$ p(x)のエントロピーは
と書いてるnishio.icon
「事象のエントロピー」ではない
そうなのかsta.icon
その事象が起きる確率（の低さ）、のような理解をしていたsta.icon
情報理論や熱力学における定義はよくわからない
比喩として使われている方のエントロピーの話
と思ったけどタイトルに「（情報）」ってあるな……sta.icon*3うわぁ.icon
そう思うyosider.icon
数学的には、エントロピーが個別の事象の関数ではなく、確率分布（状況）そのものの関数であることと対応
レアという言葉を使うなら、エントロピー = 起こり得る事象のレア度の期待値？yosider.icon
（$ \log \frac 1 {p(x)}を事象$ xのレア度と呼んでいる）
まあ確率が小さくなるほどこの値は大きくなるから筋は通ってるnishio.icon
エントロピーが高い = 起こり得る事象のレア度の期待値が高い
レア度が高い事象が少しだけあってもエントロピーは高くならない
レア度が（それなりに）高い事象がたくさんある（一様分布に近づく）とエントロピーは高くなる
あれ？逆では？miyamonz.icon
エントロピーは増大していくから、エントロピーが低いほうが特殊な状態なのでは
確率分布$ p(x)のエントロピーは
$ \mathcal{H}(p) := \mathbb{E}_{x \sim p} \log \frac 1 {p(x)} = - \int dx p(x) \log p(x)
確率分布の汎関数
$ \log \frac 1 {p(x)}の期待値
個別の事象$ xの情報量、自己エントロピーなどと呼ばれるぽい
レア度とも言えそうyosider.icon
エントロピーは平均情報量とも呼ばれる
エントロピーを最大化する分布の例
制約がない（値域のみ分かっている）場合は一様分布のときエントロピー最大 それなりの確率でとり得る状態がたくさんある状況ほど、状況の不確実性が高い
一様分布のような分布になり、エントロピーは高い
逆に、ある事象の確率が1で、それ以外の事象の確率がすべて0という状況だと、状況に不確実性はない
エントロピーは0
$ p=1→$ \log p=0より$ p \log p = 0
$ p=0→$ \lim_{p\to0} p \log p = 0
情報エントロピーH(bit)
$ H= \sum_{i=1}^S p_i \log_2 \frac{1}{p_i}
S 現象が採り得る状態の数
i各状態
$ p_i状態iが起こる確率
これを連続にすると↑の定義と同じか基素.icon
例
はれしかない砂漠なら
S=1（晴れだけ）
晴れの確率$ p_1=1
H=0 bit
晴れと雨の確率がそれぞれ50%の地点Aなら
S=2（晴れと雨の2通り）
晴れの確率$ p_1=雨の確率$ p_2=0.5
H=1 bit
地点Aの天気の不確かさは砂漠より1bit大きい
https://www.youtube.com/watch?v=T8VziGkB70g
これを見たぐらいしか覚えていないwogikaze.icon